天文学家通常已经着手通过从头开始创建自己的表示来解决监督的机器学习问题。我们表明，经过训练的深度学习模型，可以回答每个星系动物园贴花问题问题，即学习星系的有意义的语义表示，这些语义表示对于从未训练过的新任务很有用。我们利用这些表示形式优于最近对研究大型星系样本至关重要的实际任务的方法。第一个任务是识别与查询星系相似的形态的星系。给定一个星系为人类分配了一个免费文本标签（例如“ #diffuse”），我们可以找到与大多数标签匹配该标签的星系。第二个任务是确定特定研究人员最有趣的异常。我们的方法在识别最有趣的100个异常（由Galaxy Zoo 2志愿者判断）方面是100％准确的。第三个任务是调整模型来仅使用少数新标记的星系解决新任务。与从陆地图像（ImageNet）或从头开始训练的模型相比，从我们的表示形式进行微调的模型可以更好地识别环形星系。我们用很少的新标签解决每个任务；一个（用于相似性搜索）或数百个（用于异常检测或微调）。这挑战了长期以来的观点，即深度监督方法需要新的大型标签数据集，以便在天文学中实际使用。为了帮助社区受益于我们验证的模型，我们发布了我们的微调代码Zoobot。没有先前经验的研究人员可以访问Zoobot。

Traditional approaches to RL have focused on learning decision policies directly from episodic decisions, while slowly and implicitly learning the semantics of compositional representations needed for generalization. While some approaches have been adopted to refine representations via auxiliary self-supervised losses while simultaneously learning decision policies, learning compositional representations from hand-designed and context-independent self-supervised losses (multi-view) still adapts relatively slowly to the real world, which contains many non-IID subspaces requiring rapid distribution shift in both time and spatial attention patterns at varying levels of abstraction. In contrast, supervised language model cascades have shown the flexibility to adapt to many diverse manifolds, and hints of self-learning needed for autonomous task transfer. However, to date, transfer methods for language models like few-shot learning and fine-tuning still require human supervision and transfer learning using self-learning methods has been underexplored. We propose a self-supervised loss policy called contrastive distillation which manifests latent variables with high mutual information with both source and target tasks from weights to tokens. We show how this outperforms common methods of transfer learning and suggests a useful design axis of trading off compute for generalizability for online transfer. Contrastive distillation is improved through sampling from memory and suggests a simple algorithm for more efficiently sampling negative examples for contrastive losses than random sampling.

This paper presents an image-based visual servo control (IBVS) method for a first-person-view (FPV) quadrotor to conduct aggressive aerial tracking. There are three major challenges to maneuvering an underactuated vehicle using IBVS: (i) finding a visual feature representation that is robust to large rotations and is suited to be an optimization variable; (ii) keeping the target visible without sacrificing the robot's agility; and (iii) compensating for the rotational effects in the detected features. We propose a complete design framework to address these problems. First, we employ a rotation on $SO(3)$ to represent a spherical image feature on $S^{2}$ to gain singularity-free and second-order differentiable properties. To ensure target visibility, we formulate the IBVS as a nonlinear model predictive control (NMPC) problem with three constraints taken into account: the robot's physical limits, target visibility, and time-to-collision (TTC). Furthermore, we propose a novel attitude-compensation scheme to enable formulating the visibility constraint in the actual image plane instead of a virtual fix-orientation image plane. It guarantees that the visibility constraint is valid under large rotations. Extensive experimental results show that our method can track a fast-moving target stably and aggressively without the aid of a localization system.

Hopfield attractor networks are robust distributed models of human memory. We propose construction rules such that an attractor network may implement an arbitrary finite state machine (FSM), where states and stimuli are represented by high-dimensional random bipolar vectors, and all state transitions are enacted by the attractor network's dynamics. Numerical simulations show the capacity of the model, in terms of the maximum size of implementable FSM, to be linear in the size of the attractor network. We show that the model is robust to imprecise and noisy weights, and so a prime candidate for implementation with high-density but unreliable devices. By endowing attractor networks with the ability to emulate arbitrary FSMs, we propose a plausible path by which FSMs may exist as a distributed computational primitive in biological neural networks.

手动相互作用的研究需要为高维多手指模型产生可行的掌握姿势，这通常依赖于分析抓取的合成，从而产生脆弱且不自然的结果。本文介绍了Grasp'd，这是一种与已知模型和视觉输入的可区分接触模拟的掌握方法。我们使用基于梯度的方法作为基于采样的GRASP合成的替代方法，该方法在没有简化假设的情况下失败，例如预先指定的接触位置和本本特征。这样的假设限制了掌握发现，尤其是排除了高接触功率掌握。相比之下，我们基于模拟的方法允许即使对于具有高度自由度的抓地力形态，也可以稳定，高效，物理逼真，高接触抓紧合成。我们确定并解决了对基于梯度的优化进行掌握模拟的挑战，例如非平滑对象表面几何形状，接触稀疏性和坚固的优化景观。 GRASP-D与人类和机器人手模型的分析掌握合成相比，并且结果抓紧超过4倍，超过4倍，从而导致较高的GRASP稳定性。视频和代码可在https://graspd-eccv22.github.io/上获得。

我们开发了BenchPress，这是第一个用于编译器的ML基准生成器，它是在源代码的功能空间表示中可检测的。卧推通过在空序列或现有序列的任何部分中添加新代码，通过共同观察其左和右下文，从而综合编译函数，从而达到出色的汇编速率。卧推操纵基准的生成迈向了所需的目标特征，这对于最先进的合成器（或实际上人类）不可能达到。与（a）clgen-最先进的ML合成器，（b）Clsmith Fuzzer，（c）Srciror Mutator或（d）人写代码相比来自Github。 Benchpress是第一个通过主动学习搜索功能空间的生成器，以生成可以改善下游任务的基准。我们展示了Grewe's等人如何使用台式。与其他技术相比，CPU与GPU启发式模型在台式基准测试中进行训练时可以获得更高的加速。卧推是一个强大的代码生成器：其生成的样品以86％的速度编译，而Clgen的2.33％则以86％的速度编译。从一个空的固定输入开始，台式比CLGEN产生的10倍，可汇编的OpenCL基准测试，这些基准比Clgen更大，并且更具多样性。

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

在本文中，我们利用低级编译器中间表示（IR）来改善代码翻译。传统的转运器依赖于句法信息和手工制作的规则，这限制了其适用性并产生不自然的代码。将神经机器翻译（NMT）方法应用于代码，已成功扩大了可以获得自然翻译的程序集。但是，它们将代码视为文本令牌的序列，并且在具有不同语言的语义不同的类似代码之间仍然没有足够的区分。结果是低质量的翻译，降低了NMT的实用性，并强调对方法的需求显着提高了其准确性。在这里，我们建议与IRS，特别是LLVM IR增强代码翻译，并在C ++，Java，Rust和Go语言上进行结果。我们的方法改善了无监督的代码翻译的最新技术状态，将正确翻译的数量平均增加了11％，而Java -Rust Pair则最多可提高79％。我们通过添加数百个GO和RUST功能来扩展代码翻译的先前测试集。此外，我们在IR代表问题，从IR生成编程源代码以及使用IRS作为中介枢轴进行翻译的研究。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

在本文中，我们介绍了一项关于基于深度学习的方法，用于多面体编译器中的自动代码优化。该提出的技术探讨了仿射和非抗逆环转换的组合，以找到最小化给定程序的执行时间的转换序列。这种探索是由一个基于深度学习的成本模型指导的，该模型评估了每个转换序列将产生的速度。初步结果表明，所提出的技术在最先进的多面体编译器（Pluto）上实现了2.35倍的几何速度。